SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation
SpecFormer：通过谱感知Transformer缓解推荐中的嵌入与注意力坍缩
🧭 谱感知Transformer · 特征交互坍缩缓解 ★ 深度解读
Zhejiang University · Alibaba Group
揭示推荐数据异质长尾引发谱坍缩恶性循环，用动态谱软化与谱感知注意力打破瓶颈
📌 工作参考价值（5 点）
- 谱软化模块可迁移至任何Transformer特征交互模型：用可学习的幂律变换 (τ ∈ (0,1)) 动态压平奇异值分布，抑制主成分、激活长尾特征。此trick可直接插入现有推荐Transformer或LLM4Rec的注意力层前，成本低。
- Q/K用软化嵌入、V用原始嵌入的分离设计：实验证实，V用软化嵌入会扭曲语义、导致信息丢失。在工业级特征交互中，保留原始V可稳定聚合，软化Q/K则引导多样化的注意力模式，是简单有效的工程选择。
- 基于Taylor展开的谱残差偏置：用归一化奇异值的二阶多项式构造结构化偏置加回注意力得分，既补偿软化对主成分的压制，又为模型提供明确的谱感知归纳偏置。可抽象为一种增强Transformer表达能力的通用位置编码技巧。
- 两阶段训练稳定SVD模块：先用空间残差项预热5%数据，再开启主CTR训练。该策略解决了随机初始化下奇异值分布病态导致的数值不稳定，对有SVD/谱变换的模型尤其关键。
- 深度可扩展性与在线部署：9层SpecFormer注意力有效秩持续上升、AUC递增，而标准Transformer急剧坍缩。在线A/B中仅+5ms延迟换得CTR +1.34%、订单+16.72%，证明工业级极低成本获得显著收益。